package demo.spark.local;

import java.io.Serializable;
import java.util.ArrayList;
import java.util.Arrays;
import java.util.Iterator;
import java.util.List;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.FlatMapFunction;
import org.apache.spark.api.java.function.Function;
import org.apache.spark.api.java.function.Function2;
import org.apache.spark.api.java.function.PairFlatMapFunction;
import org.apache.spark.api.java.function.PairFunction;
import org.apache.spark.api.java.function.VoidFunction;
import org.apache.spark.streaming.Duration;
import org.apache.spark.streaming.api.java.JavaDStream;
import org.apache.spark.streaming.api.java.JavaPairDStream;
import org.apache.spark.streaming.api.java.JavaReceiverInputDStream;
import org.apache.spark.streaming.api.java.JavaStreamingContext;
import org.junit.Test;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import scala.Tuple2;

public class SparkLocalDemo2 implements Serializable {

    private static final long serialVersionUID = -7351740630217064247L;

    private static Logger logger = LoggerFactory.getLogger(SparkLocalDemo2.class);

    @Test
    public void testWordCountBySocket() throws InterruptedException {
        /**
         * 创建SparkConf对象，但是这里有一点不同，我们是要给它设置一个Master属性，但是我们测试的时候使用local模式，
         * local后面必须跟一个方括号，里面填写一个数字， 数字代表了我们用几个线程来执行我们的Spark Streaming程序
         */
        SparkConf conf = new SparkConf().setMaster("local[2]").setAppName("WordCount");
        /**
         * 创建JavaStreamingContext对象。该对象，就类似于Spark Core中的JavaSparkContext，就类似于Spark
         * SQL中的SQLContext 该对象除了接收SparkConf对象对象之外， 还必须接收一个batch
         * interval参数，就是说，每收集多长时间的数据，划分为一个batch，进行处理。这里设置一秒
         */
        JavaStreamingContext jsc = new JavaStreamingContext(conf, Duration.apply(1000));
        /**
         * 首先，创建输入DStream，代表了一个从数据源（比如kafka、socket）来的持续不断的实时数据流。
         * 调用JavaStreamingContext的socketTextStream()方法，可以创建一个数据源为Socket网络端口的数据流，
         * JavaReceiverInputStream，代表了一个输入的DStream。
         * socketTextStream()方法接收两个基本参数，第一个是监听哪个主机上的端口，第二个是监听哪个端口
         */
        JavaReceiverInputDStream<String> lines = jsc.socketTextStream("localhost", 9999);

        // 到这里为止，你可以理解为JavaReceiverInputDStream中的，每隔一秒，会有一个RDD，其中封装了
        // 这一秒发送过来的数据
        // RDD的元素类型为String，即一行一行的文本
        // 所以，这里JavaReceiverInputStream的泛型类型<String>，其实就代表了它底层的RDD的泛型类型

        /**
         * 开始对接收到的数据，执行计算，使用Spark Core提供的算子，执行应用在DStream中即可。
         * 在底层，实际上是会对DStream中的一个一个的RDD，执行我们应用在DStream上的算子。 产生的新RDD，会作为新DStream中的RDD
         */
        JavaDStream<String> words = lines.flatMap(new FlatMapFunction<String, String>() {
            private static final long serialVersionUID = 1L;

            @Override
            public Iterator<String> call(String t) throws Exception {
                return Arrays.asList(t.split(" ")).iterator();
            }

        });
        /**
         * 这个时候，每秒的数据，一行一行的文本，就会被拆分为多个单词，words DStream中的RDD的元素类型即为一个一个的单词。
         * 接着，开始进行flatMap、reduceByKey操作
         */
        JavaPairDStream<String, Integer> pairs = words.mapToPair(new PairFunction<String, String, Integer>() {
            @Override
            public Tuple2<String, Integer> call(String s) throws Exception {
                return new Tuple2<String, Integer>(s, 1);
            }
        });
        /**
         * 这里，正好说明一下，其实大家可以看到，用Spark Streaming开发程序，和Spark Core很相像。 唯一不同的是Spark
         * Core中的JavaRDD、JavaPairRDD，都变成了JavaDStream、JavaPairDStream
         */
        JavaPairDStream<String, Integer> wordCounts = pairs.reduceByKey(new Function2<Integer, Integer, Integer>() {
            @Override
            public Integer call(Integer integer, Integer integer2) throws Exception {
                return integer + integer2;
            }
        });
        // 到此为止，我们就实现了实时的wordcount程序了
        // 大家总结一下思路，加深一下印象
        // 每秒中发送到指定socket端口上的数据，都会被lines DStream接收到
        // 然后lines DStream会把每秒的数据，也就是一行一行的文本，诸如hell world，封装为一个RDD
        // 然后呢，就会对每秒中对应的RDD，执行后续的一系列的算子操作
        // 比如，对lins RDD执行了flatMap之后，得到一个words RDD，作为words DStream中的一个RDD
        // 以此类推，直到生成最后一个，wordCounts RDD，作为wordCounts DStream中的一个RDD
        // 此时，就得到了，每秒钟发送过来的数据的单词统计
        // 但是，一定要注意，Spark Streaming的计算模型，就决定了，我们必须自己来进行中间缓存的控制
        // 比如写入redis等缓存
        // 它的计算模型跟Storm是完全不同的，storm是自己编写的一个一个的程序，运行在节点上，相当于一个
        // 一个的对象，可以自己在对象中控制缓存
        // 但是Spark本身是函数式编程的计算模型，所以，比如在words或pairs DStream中，没法在实例变量中
        // 进行缓存
        // 此时就只能将最后计算出的wordCounts中的一个一个的RDD，写入外部的缓存，或者持久化DB

        // 最后，每次计算完，都打印一下这一秒钟的单词计数情况
        // 并休眠5秒钟，以便于我们测试和观察
        Thread.sleep(5000);
        wordCounts.print();
        // 首先对JavaSteamingContext进行一下后续处理
        // 必须调用JavaStreamingContext的start()方法，整个Spark Streaming Application才会启动执行
        // 否则是不会执行的
        jsc.start();
        jsc.awaitTermination();
        jsc.close();
    }

    @Test
    public void testReduce() {
        SparkConf sparkConf = new SparkConf();
        sparkConf.setAppName("sparkLocalDemo");
        sparkConf.setMaster("local");

        JavaSparkContext sparkContext = new JavaSparkContext(sparkConf);
        sparkContext.setLogLevel("INFO");
        // Distribute a local Scala collection to form an RDD
        JavaRDD<Integer> rdd1 = sparkContext.parallelize(Arrays.asList(1, 2, 3, 4, 5, 6, 7, 8, 9, 0), 2);
        /**
         * reduce将RDD中元素前两个传给输入函数，产生一个新的return值， 新产生的return值与RDD中下一个元素（第三个元素）组成两个元素，
         * 再被传给输入函数，直到最后只有一个值为止。
         */
        Integer sum = rdd1.reduce(new Function2<Integer, Integer, Integer>() {

            @Override
            public Integer call(Integer v1, Integer v2) throws Exception {
                return v1 + v2;
            }
        });
        logger.info("sum = " + sum);

        JavaPairRDD<String, Integer> rdd2 = rdd1.mapToPair(new PairFunction<Integer, String, Integer>() {
            @Override
            public Tuple2<String, Integer> call(Integer t) throws Exception {
                String type = (t / 2) == 0 ? "偶数" : "奇数";
                return new Tuple2<String, Integer>(type, t);
            }
        });
        rdd2.cache();
        rdd2.foreach(new VoidFunction<Tuple2<String, Integer>>() {
            @Override
            public void call(Tuple2<String, Integer> t) throws Exception {
                logger.info("Key= " + t._1 + " Value=" + t._2());
            }
        });
        /**
         * reduceByKey就是对元素为KV对的RDD中Key相同的元素的Value进行binary_function的reduce操作，
         * 因此，Key相同的多个元素的值被reduce为一个值，然后与原RDD中的Key组成一个新的KV对。
         * 亦即，它会在数据搬移以前，提前进行一步reduce操作。
         */
        JavaPairRDD<String, Integer> rdd3 = rdd2.reduceByKey(new Function2<Integer, Integer, Integer>() {
            @Override
            public Integer call(Integer v1, Integer v2) throws Exception {
                return v1 + v2;
            }
        });
        rdd3.foreach(new VoidFunction<Tuple2<String, Integer>>() {
            @Override
            public void call(Tuple2<String, Integer> t) throws Exception {
                logger.info("Key= " + t._1 + " Value=" + t._2());
            }
        });
        /**
         * 可以实现同样功能的还有GroupByKey函数，但是，groupByKey函数并不能提前进行reduce，
         */
        JavaPairRDD<String, Iterable<Integer>> rdd4 = rdd2.groupByKey();
        rdd4.foreach(new VoidFunction<Tuple2<String, Iterable<Integer>>>() {
            @Override
            public void call(Tuple2<String, Iterable<Integer>> t) throws Exception {
                logger.info("Key= " + t._1 + " Value=" + t._2());
            }
        });
        sparkContext.close();
    }

    @Test
    public void testMapToPair() {
        String filePath = "‪‪pom.xml";

        SparkConf sparkConf = new SparkConf();
        sparkConf.setAppName("sparkLocalDemo");
        sparkConf.setMaster("local");

        JavaSparkContext sparkContext = new JavaSparkContext(sparkConf);
        sparkContext.setLogLevel("INFO");

        /**
         * Read a text file from HDFS, a local file system (available on all nodes), or
         * any Hadoop-supported file system URI, and return it as an RDD of Strings.
         */
        JavaRDD<String> rdd_lines = sparkContext.textFile(filePath);

        JavaRDD<String> rdd_words = rdd_lines.flatMap(new FlatMapFunction<String, String>() {
            private static final long serialVersionUID = 1L;

            @Override
            public Iterator<String> call(String t) throws Exception {
                return Arrays.asList(t.split(" ")).iterator();
            }
        });

        JavaRDD<String[]> rdd_wordByLine = rdd_lines.map(new Function<String, String[]>() {
            private static final long serialVersionUID = 1L;

            @Override
            public String[] call(String v1) throws Exception {
                return v1.split(" ");
            }
        });

        JavaPairRDD<String, Integer> rdd_pairs = rdd_words.mapToPair(new PairFunction<String, String, Integer>() {
            private static final long serialVersionUID = 1L;

            @Override
            public Tuple2<String, Integer> call(String s) throws Exception {
                return new Tuple2<String, Integer>(s, 1);
            }
        });

        JavaPairRDD<String, Integer> rdd_pair = rdd_lines
                .flatMapToPair(new PairFlatMapFunction<String, String, Integer>() {
                    private static final long serialVersionUID = 1L;

                    @Override
                    public Iterator<Tuple2<String, Integer>> call(String s) throws Exception {
                        String[] strs = s.split("\\\t");
                        ArrayList<Tuple2<String, Integer>> list = new ArrayList<Tuple2<String, Integer>>();
                        for (String str : strs) {
                            Tuple2<String, Integer> tuple2 = new Tuple2<String, Integer>(str, 1);
                            list.add(tuple2);
                        }
                        return list.iterator();
                    }
                });
    }

    /**
     * 测试mappartiton 和 foreachpartition 根据分区处理数据
     * <p>
     * map与mapPartitions
     * <p>
     * 两者的主要区别是作用对象不一样：map的输入变换函数是应用于RDD中每个元素，而mapPartitions的输入函数是应用于每个分区。
     */
    @Test
    public void testMapPartition_foreachPartition() {
        SparkConf sparkConf = new SparkConf();
        sparkConf.setAppName("sparkLocalDemo");
        sparkConf.setMaster("local");

        JavaSparkContext sparkContext = new JavaSparkContext(sparkConf);
        sparkContext.setLogLevel("INFO");

        // Distribute a local Scala collection to form an RDD
        JavaRDD<String> rdd1 = sparkContext.parallelize(Arrays.asList("1", "11", "111", "2", "22", "222"), 2);
        // 这样的方式处理数据需要多次进行数据库的连接关闭,耗费资源
        long cnt = rdd1.map(new Function<String, String>() {
            /**
             * 
             */
            private static final long serialVersionUID = 1L;

            @Override
            public String call(String v1) throws Exception {
                logger.info("创建数据库连接。。。。。。。");
                logger.info("数据库操作。。。。。。。" + v1);
                logger.info("关闭数据库连接。。。。。。。");
                return v1;
            }
        })
                // 用一个count来触发这个懒函数的执行
                .count();
        logger.info("cnt = " + cnt);

        /**
         * mapPartitions 传进去的是一个iterrator 传出来的也是一个iterator ,传进来的iter是根据分区进行遍历
         * ,一次分区创建一次对象, 一个分区传进一个迭代器。
         */
        cnt = rdd1.mapPartitions(new FlatMapFunction<Iterator<String>, String>() {
            /**
             * 
             */
            private static final long serialVersionUID = 1L;

            @Override
            public Iterator<String> call(Iterator<String> iter) throws Exception {
                List<String> list = new ArrayList<>();
                logger.info("创建数据库连接。。。。。。。");
                while (iter.hasNext()) {
                    String curr = iter.next();
                    list.add(curr);
                    logger.info("数据库操作。。。。。。。" + curr);
                }
                logger.info("关闭数据库连接。。。。。。。");
                return list.iterator();
            }
        }).count();
        logger.info("cnt = " + cnt);

        sparkContext.close();
    }

}
